L'approche d'Apple pour des LLM frugaux en mémoire | Silicon

Clément Bohic - Silicon - 04/01
Des chercheurs d'Apple proposent un modèle d'inférence adapté aux environnements dont les ressources mémoire sont restreintes.

Comment faire tourner, avec le moins de latence possible, un LLM qui excède la capacité mémoire disponible ? Des chercheurs d’Apple ont récemment signé un article à ce sujet.

Au cœur de leurs travaux, un mécanisme d’optimisation des transferts de données de la ...
[Courte citation de 8% de l'article original]